1891年、ロシア帝国はシベリア鉄道建設を正式に決定し、建設に着手しました。1894年に日本と清国が戦争状態に入り、1895年に清国の敗戦が決定し、日本との講和条約で、遼東半島の領有権を獲得しました。ロシア帝国は、この日本による遼東半島の領有に反対し、フランス、ドイツと連携して三国干渉を行い、日本の遼東半島領有を阻止しました。その見返りとして、1896年、ロシアは清国から満州北部の鉄道敷設権を獲得しました。

このときロシアは、鉄道建設が難しいアムール川沿いの路線ではなく、満州北部からウラジオストクに至る路線建設を、清国に認めさせました。これによって、露清銀行は「中国東方鉄道(株)」を設立しました。この会社は、ロシアのサンクトペテルブルクに本拠を置き、ロシア大蔵省が理事を任命しました。このため、清朝は実質的に経営に参画することはできませんでした。資金は、フランスの投資家が゜ロシア政府に貸し付けた4億ポンドだったそうです。この貸付で、ロシア政府はフランス政府と、露仏同盟を締結しました。

1897年に東清鉄道の本線ルートが選定され、1898年から建設が始まりました。1898年にロシアが旅順大連租借権を得ると、南満州支線の建設に着手しました。そして、1903年には南満州支線も完成しました。1904年にシベリア鉄道と完全に連結されました。

1904年に日本とロシアの間で日露戦争が勃発して、1905年にポーツマス条約が結ばれ、長春から南にあった南満州支線は日本に譲渡されることとなりました。この南満州支線は、日本へ譲渡された後、南満州鉄道となりました。その他のシベリア鉄道に連結した中国東方鉄道の利権は、ロシアに残され、辛亥革命によって中華民国が成立した後も、その利権は継承されました。

日本に譲渡された南満州支線は、1906年、日ロ戦争時の満州軍や線鉄道提理部を母体として、半官半民の特殊会社として設立されました。当初は、米国の実業家ハリマンが資本参加する案もありましたが、小村外務大臣の反対で、日本の単独資本で運営することとなりました。初代総裁は、台湾総督府の元民政長官を務めた後藤新平が就任しました。後藤は、南満州鉄道の監督官庁であった関東都督府野最高顧問も兼任しました。

南満州鉄道は、都市建設、炭鉱の開発と運営、製鉄所建設と運営、農地の開拓と経営までも担当し、商事部門や、教育機関・研究所も有していました。後藤の発案で設けられた満鉄調査部は、日本が生み出したシンクタンクであったと言われています。後藤は、「満鉄10年計画」を策定し、ロンドン市場での社債発行を行い、2億円を調達、これを原資として事業の展開を行いました。